Ông sinh ngày 17 tháng 12 năm 1927 tại làng Xuân Đài, xã Điện Quang, thị xã Điện Bàn, Quảng Nam, là cháu nội của cụ Hoàng Văn Bảng, đỗ Cử nhân và từng giữ chức Án sát sứ nhiều tỉnh như: Quảng Ngãi, Quảng Bình, Quảng Nam, Hà Tĩnh. Cụ Hoàng Văn Bảng chính là em ruột của Tổng đốc Hà Nội Hoàng Diệu[2]. Cha của ông là ông Hoàng Kỵ, từng làm quan dưới thời Duy Tân, Khải Định, được thăng chức Thị Giảng học sĩ. Các anh em ông có bảy người đỗ đạt thì 5 người làm giáo sư đại học như Hoàng Phê (ngôn ngữ học), Hoàng Quý (vật lý), Hoàng Kiệt (mỹ thuật), Hoàng Tụy và Hoàng Chúng (toán học)…

Tuy vậy, năm ông lên 4 tuổi thì cha qua đời. Cha làm quan thanh liêm, nên gia đình túng bấn lại đông anh em nên tuổi thơ của ông rất vất vả, tuy nhiên đều giữ nếp nhà trong việc học hành. Giỏi văn học Pháp, nhưng ngay từ thời trung học, Hoàng Tụy đã bộc lộ thiên hướng toán học.

"Nhảy cóc" hai lớp, là thí sinh tự do, tháng 5 năm 1946, ông đỗ kỳ thi tú tài phần một và 4 tháng sau đó, đỗ đầu tú tài toàn phần ban toán tại Huế. Ông theo học Đại học Khoa học ở Hà Nội nhưng bỏ dở. Sau đó ông được mời dạy toán tại trường trung học Lê Khiết ở Liên khu V.

Trong khoảng thời gian này, biên thư xin giáo sư Nguyễn Thúc Hào - người thầy ông từng theo học tại Trường Quốc học Huế - tài liệu để tự học. Đến cuối khoá, ông xin dự kỳ thi tốt nghiệp... "từ xa"! Giáo sư Nguyễn Thúc Hào bèn xin phép Bộ được gửi đề thi niêm phong từ Nam Đàn vào cho Sở Giáo dục Liên khu V. Sở mở kỳ thi riêng, chỉ cho 2 thí sinh, trong đó có Hoàng Tuỵ, xong, thu bài làm, bỏ vào phong bì dán kín, gắn xi, rồi gửi ra Hội đồng chấm thi ở Liên khu IV. Biên bản kỳ thi được gửi ra Việt Bắc cho Bộ kiểm tra, công nhận kết quả, rồi mới cấp chứng chỉ tốt nghiệp cho thí sinh. Anh sinh viên dòng dõi danh nho đất Quảng Hoàng Tuỵ đã đỗ, còn người thí sinh kia, cùng dự thi, thì bị trượt.

• Năm 1951, ông theo học Trường khoa học cơ bản do Lê Văn Thiêm phụ trách.
• Năm 1954, Hoàng Tụy bắt đầu dạy toán tại trường Đại học Khoa học, sau là Đại học Tổng hợp Hà Nội.
• Tháng 3 năm 1959, Hoàng Tụy trở thành một trong hai người Việt Nam đầu tiên bảo vệ thành công luận án phó tiến sĩ khoa học toán – lý tại Đại học Lomonosov tại Moskva, dưới sự hướng dẫn của nhà toán học Nga Dmitrii Evgenevich Menshov.[3]
• Từ năm 1961 đến 1968 ông là Chủ nhiệm Khoa Toán của Đại học Tổng hợp Hà Nội; là Viện trưởng Viện Toán học Việt Nam từ năm 1980 đến 1989.
• Năm 1964, ông đã phát minh ra phương pháp "lát cắt Tụy" (Tuy's cut) và được coi là cột mốc đầu tiên đánh dấu sự ra đời của một chuyên ngành toán học mới: Lý thuyết tối ưu toàn cục (global optimization).
• Vào tháng 8 năm 1997, Viện Công nghệ Linköping (Thụy Điển) đã tổ chức một hội thảo quốc tế với chủ đề "Tìm tối ưu từ địa phương đến toàn cục", được tổ chức để tôn vinh Giáo sư Hoàng Tụy, "người đã có công trình tiên phong trong lĩnh vực tối ưu toàn cục và quy hoạch toán học tổng quát" và nhân dịp giáo sư tròn 70 tuổi.
• Ngày 27 tháng 9 năm 2007, ông cùng 9 nhà nghiên cứu độc lập tên tuổi khác là: Nguyễn Quang A, Phạm Chi Lan, Lê Đăng Doanh, Chu Hảo, Tương Lai, Phan Huy Lê, Trần Đức Nguyên, Trần Việt Phương thành lập Viện Nghiên cứu Phát triển IDS mà ông là Chủ tịch Hội đồng Viện. Viện IDS với tư cách một tổ chức độc lập, vừa là tổ chức mở, phi vụ lợi chuyên nghiên cứu các vấn đề liên quan đến các chính sách, chiến lược, kế hoạch phát triển cho các cơ quan nhà nước và các tổ chức kinh tế xã hội.
• Tháng 12 năm 2007, một hội nghị quốc tế về "Quy hoạch không lồi" đã được tổ chức ở Rouen, Pháp để ghi nhận những đóng góp tiên phong của GS Hoàng Tuỵ cho lĩnh vực này nói riêng và cho ngành Tối ưu Toàn cục nói chung nhân dịp ông tròn 80 tuổi.[4]
• Trong những năm của thế kỉ 21, GS Hoàng Tuỵ đã có một số bài viết phê phán, góp ý thẳng thắn về sự yếu kém, lạc hậu và tiêu cực trong ngành giáo dục Việt Nam cũng như tham gia nhiều hội nghị tham luận về cải cách giáo dục.
• Tháng 9 năm 2011, Giáo sư Hoàng Tụy vinh dự là người đầu tiên nhận được giải thưởng Constantin Caratheodory do Đại hội Quốc tế Tối ưu Toàn cục đề xướng cho những đóng góp tiên phong và nền tảng của ông trong lĩnh vực này.[5]
• Ông qua đời ngày 14 tháng 7 năm 2019 tại Hà Nội.